package main

import (
	"fmt"

	"gitee.com/chsir/base-spider-engine/config"
	"gitee.com/chsir/base-spider-engine/shell"
	"github.com/robfig/cron/v3"
)

func main() {
	// 加载配置文件
	config.Init()

	fmt.Println("------------------------------------------")
	fmt.Println("初始化数据库表格：")

	createTable()

	fmt.Println("数据库表格初始化完成")
	fmt.Println("------------------------------------------")

	c := cron.New(cron.WithSeconds())
	c.AddFunc("*/5 * * * * *", func() {
		fmt.Println("5秒钟打印一次")
	})
	// 每隔30秒 从web_pages表同步数据到web_status影子表
	c.AddFunc("*/30 * * * * *", shell.AutoSyncPagesToStatus)
	// 每隔30秒 从影子表web_status获取数据，放入redis的待爬列表里面
	c.AddFunc("*/30 * * * * *", shell.GetStatusDataToRedis)
	c.Start()

	select {}

	shell.GetStatusDataToRedis()
}
